Vương tử James là người con thứ hai sống đến tuổi trưởng thành của vua Charles I và Công chúa Henrietta Maria của Pháp. Ông sinh tại Cung điện Thánh James ở thủ đô Luân Đôn vào ngày 14 tháng 10 năm 1633.[5] Cùng năm, ông được Tổng Giám mục Canterbury thuộc Anh giáo là William Laud rửa tội.[6] James được giáo dục cùng với anh trai của mình, vị vua tương lai Charles II của Anh, và hai con trai George và Francis Villiers của Công tước thứ nhất xứ Buckingham George Villiers.[7] Khi lên 3, James được phong làm Đại Đô đốc Anh Quốc. Vị trí này ban đầu chỉ mang tính danh dự nhưng sau đó lại có quyền lực đáng kể sau cuộc Khôi phục vương vị Anh (the Restoration), khi mà James đã trưởng thành.